Pada kemuncaknya pada abad ke-15, Empayar Brunei menguasai kebanyakan wilayah Borneo, termasuk Sarawak dan Sabah zaman moden. Walau bagaimanapun, pada abad ke-19, Empayar Brunei mula merosot dan terus kehilangan wilayah sehingga saiznya sekarang. Pada tahun 1842, Sultan Omar Ali Saifuddien II ada menyerahkan sepenuhnya, kepada askar British James Brooke dan melantiknya sebagai Rajah Putih sebagai balasan untuk memadamkan pemberontakan terhadapnya. [25] Raja-raja Putih Sarawak berikutnya secara berturut-turut memajak atau mengilhakkan wilayah dari Brunei, seperti Sibu pada tahun 1853, Bintulu pada tahun 1861, Baram pada tahun 1882, pada tahun 1884, Limbang pada tahun 1890 dan Lawas pada tahun 1901 (diserahkan kepada Syarikat Borneo Utara British yang kemudiannya memindahkan wilayah tersebut. ke Sarawak pada tahun 1904). Perjanjian antara Kesultanan dan Britain pada tahun 1888, yang mengakibatkan Brunei menjadi Naungan British, tidak berjaya menghentikan kehilangan wilayah. Pengilhakan kawasan Baram, Trusan dan Limbang mengakibatkan sempadan Brunei sekarang, dengan pengilhakan Limbang, yang Brunei telah terus-menerus enggan mengiktiraf, memecah-belahkan Kesultanan kepada dua wilayah yang tidak bersebelahan. Malaysia mewarisi sempadan ini dengan Brunei apabila Sarawak, yang juga telah menjadi Naungan British pada tahun 1888 dan seterusnya menjadi Tanah Jajahan Mahkota selepas Perang Dunia II, menyertai Malaysia pada 16 September 1963. Brunei kekal sebagai Naungan British sehingga tahun 1984 apabila ia mencapai kemerdekaan. [26]